Understanding and Improving Noisy Embedding Techniques in Instruction Finetuning
理解和改进指令微调中的噪声嵌入技术
🧭 指令微调 · 嵌入噪声注入 ★ 深度解读
Johns Hopkins University
理论揭示均匀与高斯噪声等价性，提出对称伯努利噪声 SymNoise，显著超越 NEFTune
📌 工作参考价值（4 点）
- 在指令微调中改用对称伯努利噪声（±1 对）替代均匀噪声，实现简单、即插即用，成本极低，可直接提升对话/推荐解释的生成质量。
- 噪声缩放定律：不同噪声分布通过规范二阶矩可校准，例如高斯噪声需除以 √3 才能达到与均匀噪声相似的扰动幅度，避免噪声过量导致性能退化。
- 双端点扰动（正负同时训练）的曲率正则化设计可迁移至多模态对齐、语义ID 生成等任务，增强局部光滑性，抑制过拟合。
- 在电商场景的少量标注指令数据（如商品描述生成、客服多轮对话）上，SymNoise 有助于稳定微调，提升回答多样性和长度质量，且不牺牲标准任务能力。